Vrednotenje govornih vmesnikov z ogrodjem PARADISE
نویسندگان
چکیده
Povzetek Opišemo potencialno splošno metodologijo vrednotenja učinkovitosti sistemov za dialog, imenovano ogrodje PARADISE (PARAdigm for DIalogue System Evaluation). Ogrodje PARADISE omogoča izpeljavo ocene učinkovitosti sistema kot uteženo linearno kombinacijo od domene odvisnih parametrov uspešnosti naloge in cen dialoga, zajema pa model učinkovitosti sistema, katerega osnovni cilj je maksimirati zadovoljstvo uporabnikov. Model učinkovitosti sistema, ki ga zajema ogrodje PARADISE, trdi, da lahko funkcijo učinkovitosti sistema določimo z multiplo linearno regresijo. Osredotočimo se na nekatere pomanjkljivosti, težave in nerešena vprašanja ogrodja PARADISE – opišemo vpliv normalizacije na natančnost napovedovanja zadovoljstva uporabnikov, navedemo regresijske predpostavke in poudarimo pomembnost dobre izbire regresijskih parametrov. Nakažemo tudi morebitne učinke razpoznavanja govora na rezultate vrednotenja in analiziramo vprašalnik, na podlagi katerega ogrodje PARADISE določa zadovoljstvo uporabnikov (tj. odvisno spremenljivko funkcije učinkovitosti). V dosedanjih raziskavah so bile nekatere izmed naštetih točk premalo poudarjene, zanemarjene ali celo napačno interpretirane.
منابع مشابه
Večparametrsko Vrednotenje Variant V Odvisnosti Od Konteksta: Model Za Vrednotenje Strešnih Kritin
V prispevku predstavljamo večparametrski model za vrednotenje strešnih kritin. Model smo razvili z večparametrsko metodo DEX in ga realizirali z računalniškim programom DEXi. Prispevek ima dva namena. Po eni strani opisuje konkretno praktično uporabo metode DEX, kjer ovrednotimo in analiziramo pet tipičnih strešnih kritin, izdelanih iz različnih materialov: opečnato, betonsko, vlaknocementno in...
متن کاملVsak začetek je težak: avtomatsko učenje prevajanja slovenščine v angleščino
Povzetek Prispevek predstavlja poizkus avtomatskega prevajanja iz slovenskega jezika v angleški na osnovi statističnega strojnega prevajanja. Sistem temelji na zbirki orodij EGYPT, ki je namenjena obdelavi dvojezičnih vzporednih korpusov za strojno prevajanje. Osnova za učenje prevajanja je bil stavčno poravnani korpus IJS-ELAN, ki vsebuje milijon besed, prevodov iz slovenščine v angleščino in ...
متن کاملMetoda fazne demodulacije za dekodiranje možganskih informacij
Povzetek. Prispevek obravnava pristope k analizi možganskih valov za dekodiranje možganskih informacij in nadaljnjo možnost njihove uporabe v vmesnikih možgani-računalnik. Področju vmesnikov med možgani in računalnikom se v zadnjem času namenja veliko pozornosti, saj so zanimivejše področje v nevrofizioloških raziskavah. Osnovna ideja takšnih vmesnikov je izvajanje določenih akcij zgolj z upora...
متن کاملSpeech Act Based Classification of Email Messages in Croatian Language
Speech acts provide an effective way of summarizing the intended purpose of an email message. In this paper we address the task of speech act classification of email messages in Croatian language. We frame the task as a multilabel text classification problem. We perform thorough evaluation using six machine learning algorithms on message-level, paragraph-level, and sentence-level features. Usin...
متن کاملSpeech Synthesis and Discourse Information
This paper describes some recent work towards a conversational speech synthesis system for use in interactive dialogues between a human and an information system, robot, or speech translation device. The paper describes several response-type utterances that are currently very difficult to implement using traditional speech synthesis methods, and shows how these non-verbal speech sounds function...
متن کامل